iT邦幫忙

2026 iThome 鐵人賽

DAY 3
0

前兩天我們先確認了兩件事情。

Day 1 談的是:

企業不是不想用 AI,而是不敢把決策直接交給 AI。

Day 2 再往下拆:

不是每一件事情都該交給 AI。

所以今天,我反而想先把 AI 拿掉。
先做一個最簡單、最可靠的審核版本。
這個版本不需要 LLM、不需要 RAG,也不需要 Agent。
只需要三個東西:

Rule Engine + Risk Level + Approval Matrix

這會成為後面 27 天最重要的一條基準線。


為什麼一定要先做 Baseline?

很多 AI 專案會直接從模型開始。
先接 API、寫 Prompt、做 Demo。
畫面看起來很厲害。

但到最後常常答不出一個很基本的問題:

加了 AI 之後,到底有沒有比原本更好?

如果沒有 Baseline,我們就沒有比較基準。
最後很容易只剩下:

「感覺 AI 比較聰明。」
但工程上不能只靠感覺。

所以今天我們先做一個「不用 AI 也能跑」的版本。


先定義一個最簡單的審核規則

繼續沿用前兩天的案例。
假設某張工單:

項目 數值
標準耗用 100 kg
實際耗用 107 kg
差異率 7%

公司規定如下:

差異率 處理方式
≤ 3% 自動通過
> 3% 且 ≤ 5% 主管覆核
> 5% 高風險覆核

這個邏輯非常適合直接寫成 Rule Engine。
例如:

IF deviation <= 3%
    PASS

ELSE IF deviation <= 5%
    SUPERVISOR_REVIEW

ELSE
    HIGH_RISK_REVIEW

我們這筆資料是 7%。

所以結果很清楚:

HIGH_RISK_REVIEW

完全不需要 AI。


再加一層:Risk Level

企業裡很多審核,光看一個數字其實還不夠。
同樣是 7% 差異,如果金額只有幾千元,跟影響幾百萬元,處理方式可能不一樣。
所以我們再加一個 Risk Level。
例如:

LOW
MEDIUM
HIGH

可以先用很簡單的規則:

差異 <= 3%
→ LOW

差異 > 3% 且 <= 5%
→ MEDIUM

差異 > 5%
→ HIGH

我們目前這筆資料:

Deviation = 7%
Risk = HIGH

第三層:Approval Matrix

有了 Risk Level,下一個問題就是:

誰來核准?
這就是 Approval Matrix,也可以理解成「簽核權限表」。
例如:
| Risk | 處理方式 |
| ------ | ------ |
| LOW | 系統自動通過 |
| MEDIUM | 課級主管覆核 |
| HIGH | 部門主管覆核 |

所以這一筆最後的結果會是:

差異率:7%
風險:HIGH
處理方式:部門主管覆核

到這裡,一個很基本的審核流程其實已經成立了。


我們現在已經有第一版流程

整個流程其實很簡單:

Request
   ↓
Data Validation
   ↓
Rule Engine
   ↓
Risk Level
   ↓
Approval Matrix
   ↓
Decision

注意一件事情。
這一版完全沒有 AI。
但它有三個很大的優點。


1. 結果可以預測

同樣輸入 7%,每一次都會得到 HIGH。
不會今天是 HIGH,明天突然變 MEDIUM。

2. 很容易測試

例如我們可以直接準備三筆資料:

2% → PASS
4% → SUPERVISOR_REVIEW
7% → HIGH_RISK_REVIEW

馬上就知道系統有沒有寫錯。


3. 很容易稽核

主管問:

為什麼這筆是 HIGH?
答案很清楚:
因為差異率 7%,規則設定大於 5% 為 HIGH。
沒有模糊空間。


那既然這麼簡單,為什麼還需要 AI?

這才是今天真正想留下的問題。
如果所有案件都只需要:

數字
+
固定規則

那根本不需要 AI。

問題出現在這裡:
申請人會寫:

因設備切換導致起機損耗增加。

這句話,Rule Engine 很難知道:

  • 這個理由合不合理?
  • 真的是設備切換嗎?
  • 是否符合 SOP?
  • 過去有沒有類似案例?
  • 文字說明跟 MES 紀錄有沒有衝突?

這些事情才是後面 AI 真正可以幫忙的地方。
也就是說:

AI 不應該取代 Rule Engine,而是補上 Rule Engine 做不到的部分。

這個觀念我覺得很重要。


Baseline 的真正用途

從今天開始,我們有了一個可以拿來比較的版本。
假設未來加入 AI 之後,我們可以開始問:

問題 Baseline AI 版本
能不能做數值判斷 可以 可以
能不能理解文字原因 不行 可以
能不能查 SOP 不行 可以
能不能找資料衝突 有限 可以
是否容易測試 很容易 較複雜
是否容易稽核 很容易 需要額外設計

這樣我們才知道:

AI 到底是「增加能力」,還是只是「增加複雜度」。
這兩者差很多。


今天的重點

Day 3 我只想留下三個觀念。
第一個:

先做 Baseline,再談 AI。
第二個:
能用 Rule Engine 解決的事情,就不要急著交給 LLM。
第三個:
AI 真正的價值,不是取代原本可靠的規則,而是補上規則處理不了的模糊判斷。
這樣後面每加一個 AI 能力,我們都能很清楚知道:
它到底解決了什麼問題。


明天:開始讓系統看懂「原因」

目前我們的系統只看得懂:

100 kg
107 kg
7%
HIGH

但它還看不懂這句話:

「因設備切換造成起機損耗。」
Day 4,我們會正式把 LLM 放進來。
但只讓它做一件事:
理解文字,不做最終決策。
這會是我們第一次真正使用 AI。
而且從一開始,就把它的責任範圍限制清楚。

明天見 ~


上一篇
Day 2|不是每件事都該交給 AI:先把審核這件事拆開
下一篇
Day 4|第一次把 LLM 放進來:只讓它理解文字,不准它做決定
系列文
30 天打造讓人敢簽核的 AI Agent:從會回答到可信任的審核型 AI4
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言